Flink Sql Hive维表Join

您所在的位置:网站首页 flink hive维表默认更新时间 Flink Sql Hive维表Join

Flink Sql Hive维表Join

2024-07-11 19:28| 来源: 网络整理| 查看: 265

Flink 1.11支持与Hive表的Join,Flink 1.11官方文档如下图所示。

根据官方文档:

1.hive表会缓存到TM内存,所以join的hive表不宜太大。

2.根据lookup.join.cache.ttl 参数,flink会定期刷新hive缓存

而业务需求是Flink 读取kafka 和T+1更新的hive表,对于kafka的数据,只处理type字段在hive表中存在的数据。

首先尝试了如下Flink sql:

select a.* from flink_tab  a where a.type in (select type from hive_tab); 

这种sql 可以运行,也会读取hive表,但是从flink web ui 上可以看到,在读取hive表结束后,task就直接finish了。也不会定期刷新hive的数据,所以不符合我们的要求。

Flink 1.12 的文档中给出了标准的写法



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3